iT邦幫忙

DAY 19
0

Azure 30天系列 第 19 篇

Day 19. HDInsight與Blob的資料傳遞

鐵人賽
1278 瀏覽

  • 分享至 

  • xImage
    •  
  1. 在模擬器我們可以模擬HADOOP的行為,那若是要從模擬器連到Azure上的正式環境, 就必須在C:\hdp\hadoop-2.4.0.2.1.3.0-1981\etc\hadoop\core-site.xml新增以下Property
    <property>
    <name>fs.azure.account.key.<StorageAccountName>.blob.core.windows.net</name>
    <value><StorageAccountKey></value>
    </property>

  1. **<StorageAccountName>, <StorageAccountKey>**這些資訊可從Portal上的'管理存取金鑰'取得

  1. 設定後不需重啟HADOOP, 使用以下語法來連結wasb://<ContainerName>@<StorageAccountName>.blob.core.windows.net/. 以下列為例,
    ContainerName: clstr0002
    StorageAccountName: stor0002
    指令就是 hadoop fs -ls wasb://clstr0002@stor0002.blob.core.windows.net/, 列出目錄下所有檔案

  1. 確定可連結之後, 回到稍早介紹的Azure Storage explorer, 先連上Storage後新增項目

  1. 在Blob Name輸入user/demo.txt, 接著在content文字框任意輸入資料並儲存, 表示要在user資料夾下建立一個文字檔案

  1. 回到HADOOP command line, 輸入hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/demo.txt就可看到剛剛用Explorer上傳的文字檔

  1. 另外再使用command line的方式上傳檔案測試,用copyFromLocal的方式上傳 (這邊使用hdfs)
    hdfs dfs -copyFromLocal datanode.xml wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt

  1. 同樣再用cat方式確認一下
    hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt

  1. 最後再從瀏覽器介面驗證一次, 加上前面介紹的powershell, 檔案的傳遞也就先告一段落


上一篇
Day 18. MS SQL & Hive的連結
下一篇
Day 20. Azure上的LOG (上)
系列文
Azure 30天 共 30 篇
  1. 26
    Day 26. Azure SQL 複製, 匯入與匯出
  2. 27
    Day 27. Azure SQL 同步機制
  3. 28
    Day 28. Azure Schedule Job
  4. 29
    Day 29. Azure 附加元件
  5. 30
    Day 30. My Azure Girl
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22202 篇
完賽人數
602 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙